Callaghan memenangi kerusi Cardiff dalam pilihan raya umum 1945 (dan mengekalkan kerusi ini secara berterusan sehingga tahun 1987). Tidak lama kemudian, beliau dilantik sebagai Setiausaha Parlimen untuk Kementerian Pengangkutan pada tahun 1947. Tempohnya ini memperlihatkan pengenalan lintasan zebra serta pelanjutan penggunaan baiduri di United Kingdom. Callagan kemudian menjadi Setiausaha Parlimen dan Kewangan kepada Jabatan Admiralti pada tahun 1950. Sebagai sebahagian tanggungjawab jawatan ini, beliau mewakili United Kingdom dalam Majlis Eropah dan menentang rancangan-rancangan untuk membentukkan seangkatan tentera Eropah.

Pada tahun 1961, Callaghan menjadi Canselor Bayangan. Apabila Hugh Gaitskell, ketua Parti Buruh, meninggal dunia pada Januari 1963, Callagan bertanding untuk jawatan pimpinan tersebut tetapi dikalahkan oleh Harold Wilson. Bagaimanapun, beliau dilantik sebagai Canselor Exchequer apabila Parti Buruh memenangi pilihan raya umum 1964. Dalam jawatan yang baru ini, beliau terpaksa menghadapi imbangan pembayaran negatif serta serangan-serangan spekulasi paun sterling yang melanda ekonomi United Kingdom ketika itu. Bersama-sama dengan seluruh kerajaan, Callaghan bersetuju bahawa penurunan nilai harus dielakkan and beliau menaikkan cukai serta meminjam daripada bank-bank negara yang lain untuk menstabilkan ekonomi. Bagaimanapun, kesan Perang Enam Hari dan suatu mogok pelabuhan menghebatkan serangan spekulasi dalam bulan November 1967, dan kerajaannya terpaksa menurunkan nilai paun sterling dari ASD$2.80 ke ASD$2.40 pada 18 November. Callaghan menawarkan peletakan jawatannya dengan segera, tetapi Harold Wilson memujuknya supaya meneruskan perkhidmatannya, dan beliau dilantik sebagai Menteri Hal-ehwal Dalam Negeri sebagai pertukaran jawatan dengan Roy Jenkins, dua minggu kemudian.

Pada tahun 1969, latar belakang Callaghan dalam gerakan kesatuan pekerja menyebabkan beliau menjadi tumpuan penentangan terhadap undang-undang penggajian yang dicadangkan oleh Barbara Castle, rakannya dalam Kabinet. Dalam perjuangan ini yang dikenali sebagai Pertempuran Downing Street, Callaghan akhirnya menang dan cadangan-cadangan yang dikemukakan dalam kertas putih, Sebagai Ganti untuk Persengketaan, digugurkan. Sememangnya, Wilson tidak gembira terhadap perbuatan Callaghan ini.

Sesetengah ahli dalam Parti Buruh yang tidak suka akan Wilson kemudian memulakan komplot untuk menyahstabilkannya dan menyokong Callaghan untuk mengambil alih pimpinan Parti Buruh. Selepas kekalahan Wilson yang tidak disangka dalam pilihan raya umum 1970, Callaghan enggan mencabarnya walaupun Wilson mudah terdedah ketika itu. Ini mengembalikan keyakinan Wilson terhadap Callaghan, dan apabila Wilson sekali lagi dilantik sebagai Perdana Menteri pada Mac 1974, beliau melantik Callaghan sebagai Menteri Luar Negerinya. Dalam jawatan ini, Callaghan diberikan tanggungjawab untuk berunding semula syarat-syarat keahlian Britain kepada Pasaran Bersama. Apabila perundingan mencapai persetujuan, Callagan mengetuai Kabinet untuk mengisytiharkan penerimaan syarat-syarat baru dan beliau menyokong pendirian ini dalam pemungutan suara pada tahun 1975.

Pada 16 Mac 1976, semasa tempoh keduanya, Harold Wilson mengumumkan peletakan jawatannya yang tidak disangka dan menyokong Callaghan sebagai pewarisnya secara tidak rasmi. Disebabkan Callaghan yang berumur 64 tahun ketika itu merupakan calon yang paling tua, beliau tidak merupakan calon pilihan ramai. Walaupun begitu, beliau merupakan calon yang paling kurang memecahbelahkan parti, dan kepopularannya dengan seluruh gerakan Buruh memperlihatkan beliau memenangi pemilihan pimpinan Parti Buruh. Pada 5 April 1976, Callaghan menjadi Perdana Menteri United Kingdom.